DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
DeepSeek-V4.1-Flash：极限压缩KV缓存的长上下文多模态MoE
🧭 Agent推理优化 · KV缓存压缩 ★ 深度解读
DeepSeek-AI
通过跨层KV复用、FP4量化与SWA有界重放，将每token全局KV缓存降至890字节，实现近恒定decode成本
📌 工作参考价值（4 点）
- KV缓存压缩方案可直接迁移：跨层复用全局KV与Top-K索引（CSA2的Full/Reindex/Reuse三模式）可大幅降低长上下文Agent的内存占用，尤其适合电商多轮对话、工具调用频繁的场景，可将持久化KV缓存缩小至1/8。
- CED架构适合输入重的工作负载：prefill阶段仅激活前一半层（8B参数），对输入token极多的场景（如商品详情+用户行为序列拼接）能显著降低首token延迟，可借鉴其非对称激活设计。
- SWA Bounded Replay的工程取舍：用近似的窗口重放替代精确重建SWA KV，仅需重放最近n_win个token，就能免去持久化SWA缓存，节省SSD和主机内存，适合在线推荐系统中高频短会话的上下文管理。
- FP4量化用于KV缓存而非matmul：对KV cache做训练时量化（QAT）可安全使用FP4精度，仅存储减半而不依赖硬件原生FP4矩阵乘支持，可复用到现有推理引擎，降低HBM压力。